Ngày 16 tháng 4 năm 1994, ông gia nhập Đảng Cộng sản Việt Nam.

Ông có bằng Cao cấp lý luận chính trị.

Ông từng là Đại biểu Quốc hội Việt Nam khóa 12, khóa 13 tỉnh Bình Thuận.[4]

Ngày 22 tháng 5 năm 2014, ông trúng cử Đại biểu Quốc hội Việt Nam khóa 14 tại tỉnh Bình Thuận.

Sau đó, ông là Đại biểu Quốc hội chuyên trách trung ương, là Phó Chủ nhiệm Ủy ban Đối ngoại của Quốc hội khóa 14, Chủ tịch Nhóm nghị sĩ hữu nghị Việt Nam-EP, Thành viên Ban chỉ đạo nhà nước về thông tin đối ngoại, ủy viên Ban thường vụ - Ủy ban Hòa Bình Việt Nam.

Năm 2017, ông được Ủy ban Thường vụ Quốc hội phê chuẩn, Chủ tịch Nước bổ nhiệm làm Đại sứ đặc mệnh toàn quyền Việt Nam tại Liên bang Nga. Ngày 10 tháng 4 năm 2018, ông trình Quốc thư lên Tổng thống Vladimir Putin, chính thức bắt đầu nhiệm kì công tác tại Nga.

Ngày 13 tháng 3 năm 2018, Ủy ban thường vụ Quốc hội Việt Nam khóa 14 đã biểu quyết thông qua Nghị quyết cho Ngô Đức Mạnh thôi làm đại biểu Quốc hội Việt Nam khóa 14 tỉnh Bình Thuận vì ông sẽ nhận nhiệm vụ Đại sứ tại Liên bang Nga.[5]